Bapa Lee, berasal dari Jiangxi, China menekankan kepentingan mempelajari budaya dan seni (terutamanya kaligrafi Cina) masyarakat Cina. Lee mendapat pendidikan awal di sekolah Tainan First Senior High School di mana ayahnya merupakan seorang bekas pengetua sekolah. Beliau kemudian melanjutkan pelajaran ke National Arts School (sekarang dikenali sebagai National Taiwan University of Arts) dan menjadi graduan pada tahun 1975.

Ayahnya ingin Lee menjadi seorang profesor. Namun demikian, Lee hanya menunjukkan minat terhadap seni di kolej. Pada tahun 1979, Lee berhijrah ke Amerika Syarikat. Kemudian pada tahun 1980, Lee berjaya memasuki Sekolah Seni Tisch di Universiti New York.

Lee mengabggur selama beberapa tahun selepas menamatkan pengajiannya. Kehidupanya pada masa itu ditanggung sepenuhnya oleh isterinya. Lee menjadi suri rumah ketika itu.